Ít điều được biết về khoảng thời gian đầu trong cuộc đời ông. Có vẻ ông được sinh ra tại phía tây của Chartres. Có thể nơi ông sinh ra là một thị trấn ở Brunelles, gần với Nogent-le-Rotrou. Ông làm ca sĩ trong khoảng thời gian từ ngày 9 tháng 8 năm 1483 đến 1486. Sau đó thì ông làm việc ở Genève cho đến năm 1492 và Laon trong năm 1497. Tiếp theo đó nữa, ông trở thành một chỉ huy dàn hợp xướng gồm các bé trai ở Notre-Dame de Paris trong các năm 1498 đến 1500, rồi trở thành chỉ huy dàn hợp xướng của Alfonso I d'Este ở Ferrera từ năm 1506, thay thế nhà soạn nhạc danh tiếng Jacob Obrecht, người đã qua đời vào năm trước đó. Vào năm 1510, nhà thờ mà Brumel hoạt động đã bị giải tán. Chính vì thế ông phải đến nước Ý. Những tài liệu đơn lẻ cho rằng Brumel đã làm việc tại các nhà thờ ở Faenza và Mantua. Tại Mantua ông qua đời. Năm ông qua đời cũng không được rõ ràng, có thể là năm 1512, 1513 hoặc một năm nào đó trước năm 1512. Có một ý kiến có thể giải thích ông qua đời vào năm 1513 khi cho rằng ông có mặt trong số những nhà soạn nhạc gặp Giáo hoàng Leo X. Đó là ý kiến của nhà soạn nhạc người Ý Vincenzo Galilei. Tuy nhiên, do Galilei thuộc thế hệ sau và viết về điều này như là một điều thứ yếu, cộng thêm việc không có bằng chứng khẳng định thêm việc này nên ý kiến này không được xác thực hoàn toàn. Sau đó, Heinrich Glareanus, một người viết tiểu sử về Brumel sau đó, đề cập rằng Brumel đã sống "già dặn", vì vậy có thể ông sống lâu hơn. Tuy nhiên, rất đáng tiếc, bản ghi chép ý kiến này đã không còn tồn tại, vì vậy ta không biết đầy đủ vấn đề. Ngoài ra, một vấn đề nữa cũng cần đề cập đến đó là Jachet Brumel có phải là con của Antoine Brumel hay không.